In-context Learning（文脈内学習）
概要
In-context Learning（ICL, 文脈内学習）は、大規模言語モデル がパラメータを更新することなく、プロンプト（コンテキスト）内に与えられた例から タスクを学習する能力です。GPT-3（Brown et al., 2020）で広く知られるようになり、Few-shot Learning の中核となるメカニズムです。
仕組み
- プロンプトに例を埋め込む — タスクの入出力例を数個提示する
- パターン認識 — モデルが例から規則性を推測する
- 生成 — 新しい入力に対して、推測した規則を適用する
ファインチューニング と異なり、モデルの重みは一切更新されません。学習は「推論時」にコンテキスト上で起こります。
なぜ可能か
- Transformer の Attention 機構が、異なるトークン間の関係（例と新しい入力の対応）を捉える
- 大規模な 事前学習 により、多くの言語現象・タスクパターンが内部表現として獲得されている
- 少数の例があれば、それらから推測される規則を適用できる
これは「次の単語を予測する」という事前学習だけから立ち現れる 創発的能力 の代表例です。
ショット数による分類
| 名称 | 例の数 |
|---|---|
| Zero-shot | 0個（タスク説明のみ） |
| One-shot | 1個 |
| Few-shot Learning | 数個〜数十個 |
関連・発展
- プロンプトエンジニアリング — ICL の性能を引き出す技術
- Chain-of-Thought Prompting — 思考過程を明示させる高度な技法
- 例の順序や選択に性能が左右される 脆弱性 が知られている
頑健性：分布シフトへの対応
提示する例（デモンストレーション）の選び方は ICL の性能を大きく左右しますが、ターゲットドメインが未知・アクセス不能な実シナリオでは選択が難しくなります。
- DOPA（Toward Robust In-Context Learning） — アウト・オブ・ディストリビューション（OOD）のプロキシでアクセスできないターゲット分布を推定し、デモ検索を導く。Mahalanobis 距離ベースの多様性制約で選んだ例の多様性を担保し、分布シフト下での頑健性を高める（ACL 2026）。Toward_Robust_In-Context_Learning
関連ページ
参考資料
- Brown, T., et al. (2020). “Language Models are Few-Shot Learners.” arXiv:2005.14165.
- Language Models are Few-Shot Learners